Can We Steer the Black-Box? Towards Controllability-Centric Evaluation of Recommender Systems with Collaborative Agents
我们能操控黑箱吗？面向推荐系统可控性的协同智能体评估框架
🧭 推荐系统可控性评估 · 多智体协同
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences
首个多智能体协同可控性评估框架CtrlBench-Rec，量化推荐系统在目标发现、画像塑造、偏见缓解上的可引导性，揭示长尾内容顽固抵抗
📌 工作参考价值（4 点）
- 多智能体协作的评估范式可直接复用到电商推荐，用Agent模拟用户下达明确指令（如“推荐更多登山装备”），量化系统对显式意图的响应能力，构建内部可控性测试集。
- 三大评估任务（目标内容发现、兴趣画像塑造、流行度偏差缓解）可作为新增CTR/AUC之外的离线评测维度，尤其适合检验推荐结果是否被热门头部绑架，与长尾新品冷启、ESG目标对齐。
- 框架暴露长尾内容极难被引导，提示业务侧在召回层设计时必须引入显式引导通道（如query介入或主动探索模块），而不能仅靠隐式反馈。
- 可将CtrlBench-Rec改造为审计工具，连续监测推荐系统在特定类目（如合规限制类目）上的可控性，为监管自查提供自动化手段。